Tuy nhiên, ông không thể thắng nổi người bạn cũ là Saigō Takamori. Trong cuộc Chiến tranh Tây Nam năm 1877, quân nổi loạn Satsuma dưới quyền chỉ huy của Saigo chiến đấu chống lại quân đội theo chế độ nhận ngũ của chính quyền mới dưới sự chỉ huy của Bộ trưởng Nội vụ Okubo. Với sự thất bại của lực lượng Satsuma, Okubo bị phiên mình và rất nhiều cựu võ sĩ coi là "tên phản bội". Vào ngày 14 tháng 5 năm 1878, ông bị Shimada Ichirō và 6 võ sĩ phiên Satsuma ám sát trên đường đến thủ đô Tōkyō.

Sách Mười hai người lập ra nước Nhật ghi nhận:[1]

Những năm đầu của thời Minh Trị, ở trong nước Nhật đã có sự lo ngại là thể chế mạc phủ sẽ trở lại. Người ta lo ngại phiên chúa Satsuma sẽ lại trở thành Chinh Di Ðại Tướng Quân, lập ra mạc phủ với Okubo Toshimichi làm tể tướng độc tài. Có người cho rằng kẻ ám sát Okubo đã ôm ấp nỗi lo âu đó.